#label noise

5 篇

CleanRM: Reward Modeling from Noisy Feedback with a Few Clean Feedback for RLHF

CleanRM：用少量干净反馈对 RLHF 做样本级噪声奖励建模

🧭 RLHF 奖励建模 · 样本级噪声校正 ★ 深度解读

Zhejiang University · Xiaohongshu Inc · National University of Singapore · New York University · University of Illinois at Urbana-Champaign

用少量干净反馈经最优传输校准样本级噪声率，并构造无偏代理损失提升奖励建模与 RLHF

📌 工作参考价值（4 点）

点击、点赞、评分等 point-wise 反馈噪声天然是样本级的，不应沿用全局噪声率假设；可抽样少量高质量人工/专家复核样本作为 clean set，训练一个轻量样本级噪声率估计器，再做损失校正。
把 CleanRM 的两阶段思路迁移到 CTR/CVR 或推荐 reward 建模：先学样本级翻转概率 μ(x)、ν(x)，再用无偏 surrogate loss 训练主模型；相比全局 IPS 或 forward correction，更贴合业务中不同 item/query 的噪声异质性。
最优传输对齐 clean set 和 noisy set 的联合 (embedding, preference) 分布，工程上只需 backbone 输出的 embedding 和少量干净标签，不需要大规模标注；可复用于 LLM-as-judge 的评分去偏，尤其当业务依赖模型打分构建训练信号时。
下游策略优化对 reward model 的噪声高度敏感；在电商/Agent 场景如果要用 reward model 驱动策略或排序，先做样本级去噪能直接放大下游收益，论文中 FFT 安全分数相对 naive 提升 79.5% 可作为收益量级参考。

Training | 2026-10-15 | stat.ML | score 8/10

规划学习：按剩余训练预算在交叉熵与策略梯度间插值的 horizon loss

🧭 训练损失函数 · 学习预算规划 ★ 深度解读

Google DeepMind

提出 horizon loss，依据剩余学习预算把交叉熵动态过渡到精确策略梯度，提升 top-1 准确率和抗噪能力

📌 工作参考价值（4 点）

在 CTR/CVR 预估、多分类、生成式推荐的 Semantic ID 分类等以 top-1/accuracy 为目标的任务中，可尝试把每样本 loss 改为 horizon loss：仅需计算 σ(z+H)-σ(z) 权重乘 ∇z，不改模型结构；需按数据集标定 κ 为剩余学习率之和的换算系数。
当训练数据存在点击噪声、错误标注或行为噪声时，cross-entropy 会在后期 memorization 噪声样本；horizon loss 会随着预算减少自动降低这些无法修复样本的权重，从而提升干净测试集 top-1，效果随噪声率增大而增强。
若目标是校准或 NLL（如知识蒸馏、温度校准），不要直接套 accuracy 版 horizon loss：应使用 planning cross-entropy（P_H[CE]/(1-e^{-H})），它会降低 NLL 但可能牺牲 accuracy；目标不同要选择对应 planning objective。
在 LLM post-training / RLHF 的 policy gradient 场景中，PG 的 myopic 分配缺陷同样存在；可以考虑在 policy gradient loss 中引入剩余 rollout 或训练步数作为 horizon，让早期像 likelihood、晚期像 reward，缓解对 lost causes 的过度投入。

Training | 2026-10-02 | cs.LG | score 8/10

PLC-DPO：噪声与模糊偏好下的后验标签校正 DPO

🧭 LLM 偏好优化 · 标签修正

KAIST AI · KENTECH

利用校准的策略-参考边际把偏好对路由为 clean/flip/tie，主动校正标签方向与强度，提升 DPO 在噪声和模糊偏好下的鲁棒性

📌 工作参考价值（4 点）

若业务中用 DPO/RLHF 对齐 LLM 排序器、广告文案生成或 Agent 行为，可引入基于 policy-reference margin 的在线路由：margin 接近 0 或反向时按 tie/flip 处理，而不是硬训，能降低点击/转化等隐式反馈中的误标和争议样本损伤。
不必在数据清洗阶段一次性过滤可疑样本，而是在训练中动态估计并修正监督方向/强度；对搜索推荐中的点击 vs 未点击、或 LLM-as-judge 分歧样本，可构造 robust DPO 损失，减少 false negative/positive 影响。
对于电商多模态内容或 Agent 行为偏好冷启动，tie 路由提供更平滑监督，适合标注分歧较大的场景；可先做 human disagreement 分析，再设定 flip/tie 阈值。
PLC-DPO 可直接作为 loss 层替换现有 DPO，无需改数据或模型结构，适合已部署 DPO/RLHF 的团队快速验证。

Training | 2026-08-30 | HF Daily | score 7/10

路由在最需要时最难学：Web Agent 表征路由的界限

🧭 Agent 表征路由与成本优化

University College London · Holistic AI · UCL Centre for Artificial Intelligence

多观察模式的路由收益被重运行噪声夸大，弱智能体因标签不足难以学习路由

📌 工作参考价值（4 点）

多表征系统（如文本+图像+融合）可借鉴路由思路：按任务特征动态选择最优表征，但需注意重运行噪声（12-14%）会夸大收益，评估时务必用足够重复实验校准。
当基础智能体成功率低时，路由训练样本极少（路由标签源自智能体自身成败），此时应先提升智能体核心能力再引入路由，避免“鸡生蛋”困境。
成本-质量权衡策略可直接复用：仅将基础模式无法解决的任务发送到最强模式，可在不降低成功率前提下节省 9.5-30.6% 成本，适合电商 Agent 多级调用（如廉价 KV cache vs 完整生成）。
任务文本作为零成本路由规则（如关键词过滤）效果有限且脆弱，建议谨慎使用，优先构建基于置信度的级联路由。

Agent | 2026-08-06 | cs.CL | score 6/10

MIND：通过潜在流形解耦分离模型诱导的标签噪声

🧭 标签噪声鲁棒学习 · 潜在流形解耦

State Key Laboratory of Novel Software Technology, Nanjing University

将模型诱导的系统性标签噪声解耦为子空间依赖成分，用动态聚类估计噪声以校正伪标注。

📌 工作参考价值（4 点）

Training | 2026-05-15 | cs.CV | score 6/10